SWIM: Step-Wise Integrated Measure for Session-supervised List Evaluation in Generative Re-ranking
SWIM:生成式重排中会话监督列表评估的逐步积分测度
🧭 生成式重排评估 · session 级生存建模 ★ 深度解读
University of Science and Technology of China · Kuaishou Technology
将重排 list 评估建模为有限时域生存过程,用因果 Transformer 并行估计 continuation 与 reward
📌 工作参考价值(4 点)
- 用 survival 加权替代 pointwise 加和:短视/短视频 feed 的 list 价值不应是 item reward 直接相加。可以把当前 list 贡献写成 Σ(Π q_t) r_t,其中 q_t 是位置 t 的继续概率,r_t 是到达位置后的条件收益。这套公式能直接迁移到重排 evaluator,尤其适合 session 连续消费场景。
- 用 causal-masked Transformer 并行估计 q_t 与 r_t:在 [prefix token, item_1..item_T] 上做因果注意力,每个位置输出 continuation probability 和 reward heads,一次 forward 得到整条 list 评估。这样避免自回归 rollout,满足工业延迟约束;prefix token 编码 session prefix,可同时估计跨 request 的进入概率 q_0。
- 连续目标做离散 bucket 分类:play time 等长尾连续反馈不要直接回归,而是离散为有序 bucket 预测 categorical distribution,再取 bucket 代表值恢复期望;训练更稳定,适合多目标 reward 融合。
- 训练时只在 reached positions 计算 survival/reward loss:reward 是到达位置后的条件收益,未到达位置不应参与 reward 监督;survival BCE 也只在已到达位置有效。这个 masked loss 设计能避免 selection bias,工业日志可直接复用。